Szanowni Państwo,
firma AMD opublikowała blog, w którym przedstawiła postępy w rozwoju ekosystemu swoich rozwiązań AI ze szczególnym uwzględnieniem spraw związanych z otwartym środowiskiem programistycznym.
Podsumowano w nim m.in. uwagi klientów, którzy wykorzystują już najnowsze akceleratory AMD Instinct MI300X. Są wśród nich m.in.:
- ElioVP, które niedawno opublikowało wnioski ze swoich testów wnioskowania LLM i potwierdziło potężną moc, jaka drzemie w AMD Instinct MI300X.
- Lamini, które wykorzystuje akceleratory AMD Instinct MI300X i MI210 do wsparcia firm budujących swoje własne portfolio LLM.
- Sharon Zhou, dyrektor generalna i współzałożycielka Lamini powiedziała: „Widzimy niesamowity popyt na nasze rozwiązania LLM działające w oparciu o MI300X. Wśród klientów są firmy z listy Fortune 500 czy technologiczne jednorożce – wszyscy z tym samym celem: wprowadzić swoje dane do najcenniejszego dziś systemu obróbki danych: LLM. Wszystko dzięki AMD.”
- Supermicro przedstawiło wrażenia ze swoich rzeczywistych testów AMD Instinct MI300X.
- TensorWave również obserwuje zwiększone zapotrzebowanie na użycie akceleratorów AMD Instinct MI300X.
Blog przedstawia również zaangażowanie firmy na rzecz otwartego ekosystemu AI. AMD dołączyło do organizacji non-profit AI Alliance, czyli grupy składającej się z firm, uniwersytetów, jednostek badawczych i rządowych, która ma na celu rozwijać wszystkie aspekty sztucznej inteligencji w sposób zupełnie otwarty i transparentny. AMD udostępniło także wszystkie zasoby środowiska programistycznego ROCm, aby deweloperzy aplikacji mieli dostęp do pełnej dokumentacji, szkoleń i najnowszych optymalizacji.
Środowisko ROCm jest też coraz bardziej dojrzałe z uwagi na regularne aktualizacje, które wprowadziły m.in.:
- obsługę FlashAttention-2 dla akceleratorów MI300X,
- obsługę vLLM dla akceleratorów MI300X,
- obsługę kwantyzacji poprzez Bits & Bytes oraz AWQ / GPTQ,
- zapowiedź wsparcia dla HIP Graph w wersji ROCm 6.1, której wydanie planowane jest już na 1 kwartał 2024.
Polecamy uwadze szczegóły na blogu AMD.
źródło: informacje prasowe